Khi Albert Victor chỉ mới 17 tháng tuổi, em trai ông, Vương tôn George xứ Wales, chào đời ngày 3 tháng 6 năm 1865. Do chênh lệch tuổi tác giữa hai anh em không nhiều, họ được học cùng nhau. Năm 1871, Nữ vương phân phó John Neale Dalton làm gia sư cho hai Vương tôn. Họ phải nhận sự giáo dục vô cùng nghiêm khắc, bao gồm huấn luyện quân sự cũng như những môn học lý thuyết. Dalton phàn nàn rằng trí óc của Albert Victor "bất thường". Ông được dạy nói tiếng Đan Mạch, nhưng khả năng tiếp thu ngoại ngữ cũng như các môn học khác rất chậm. Thư ký riêng của Nữ vương Victoria, ngài Henry Ponsonby nghĩ rằng Albert Victor có thể đã bị di truyền chứng điếc từ mẹ mình. Albert Victor không xuất chúng về mặt trí tuệ. Những cơn động kinh và tình trạng sức khỏe bị ảnh hưởng do sinh non được cho là nguyên nhân khiến ông hay mất tập trung và đôi khi xấc xược trong lúc học. Lady Geraldine Somerset, thị tùng của Bà Công tước xứ Cambridge (bà ngoại của Vương hậu Mary), cho rằng việc Albert Victor chậm phát triển trí tuệ là do Dalton, người mà bà cho là “vô trách nhiệm”[5].

Albert Victor bị xem xét để tách khỏi các em của mình, nhưng Dalton khuyên Thân vương xứ Wales không nên với lý do "Vương tôn Albert Victor cần có sự khuyến khích từ Vương tôn George để làm mọi việc suốn sẻ"[6][7]. Năm 1877, hai Vương tôn được đưa đến tàu HMS Britannia của Hải quân Vương thất để học một khóa huấn luyện. Tuy nhiên, họ phải bắt đầu khóa học trễ hơn hai tháng so với các học viên khác khi Albert Victor mắc chứng sốt thương hàn và sau đó được Sir William Gull chữa khỏi[8].

Dalton lấy tư cách giáo sĩ để lên tàu cùng hai Vương tôn. Năm 1879, sau nhiều cuộc thảo luận giữa vương thất và Chính phủ, hai anh em được gửi làm Sĩ quan Hải quân trên tàu HMS Bacchante trong chuyến công du thế giới ba năm. Albert Victor được thăng làm Chuẩn úy Hải quân vào sinh nhật lần thứ mười sáu. Hai người cùng với Dalton đi chu du khắp Đế quốc Anh và Châu Mỹ, quần đảo Falkland, Nam Phi, Úc, Fiji, Viễn Đông, Singapore, Ceylon, Aden, Ai Cập, Thánh Địa và Hy Lạp. Họ cũng thử tục xăm mình khi đến thăm Nhật Bản. Đến khi trở về Anh, Albert Victor đã mười tám tuổi[9].

Hai anh em tách ra vào năm 1883, George tiếp tục sự nghiệp trong hải quân và Albert Victor theo học Trinity College, Cambridge[10]. Tại Bachelor's Cottage, Sandringham, triều đình hy vọng Albert Victor sẽ được rèn luyện trước khi chuyển vào Đại học với sự giám sát của Dalton, một gia sư người Pháp là Hua và gia sư mới, James Kenneth Stephen[11]. Một số sử gia cho rằng Stephen là một người đồng tính, dù quan điểm này chưa được kiểm chứng[12] nhưng có lẽ ông đã cảm mến Albert Victor, dù đó có phải là tình cảm đồng tính luyến ái hay không. Stephen ban đầu khá lạc quan về nhiệm vụ giáo dục Vương tôn Albert Victor, nhưng tại thời điểm chuyển đến Cambridge, ông thừa nhận: "Ta không nghĩ Ngài ấy tiếp thu được bất kỳ điều gì khi học ở Cambridge... Ngài ấy gần như không hiểu nghĩa những từ Ngài ấy đọc."[13][14]

Khi bắt đầu học kỳ mới vào tháng 10, Albert Victor, Dalton và quan Khâm sai Henderson từ Bacchante chuyển đến biệt thự Nevile tại Trinity College, nơi dành riêng cho những sinh viên có xuất thân cao quý. Vương tôn Albert Victor không mấy quan tâm đến việc học tập và được miễn một số kỳ thi. Ông cũng từng được giới thiệu với Oscar Browning, một trong những nhà tài trợ của Đại học Cambridge, người thích tổ chức tiệc tùng và "gạ gẫm những sinh viên đẹp trai và hấp dẫn"[15][16]. Albert Victor trở nên thân thiết với con trai đỡ đầu của Dalton, Alfred Fripp, người sau này trở thành bác sĩ riêng cũng như bác sĩ phẫu thuật cho ông. Không rõ liệu Albert Victor có trải qua bất kỳ hành vi quan hệ tình dục nào khi còn ở Cambridge hay không. Vào tháng 8 năm 1884, ông dành một thời gian học tiếng Đức tại Đại học Heidelberg trước khi trở lại Cambridge. Năm 1885, Albert Victor rời Cambridge và sau đó được Trinity College cấp bằng danh dự vào năm 1888[17].

Một trong những gia sư của Albert Victor nói rằng ông học bằng cách lắng nghe chứ không phải đọc hay viết, dù vậy ông không gặp bất kỳ khó khăn nào trong việc ghi nhớ[18]. Em họ của Nữ vương Victoria, Vương thân George, Công tước xứ Cambridge, có định kiến khắc nghiệt với Vương tôn, ông gọi Albert Victor là "một đứa lêu lỏng, cố chấp và hết thuốc chữa"[19][20]. Bà ngoại ông, Augusta xứ Cambridge khá thất vọng, bà gọi ông là: "Một đứa chẳng ra gì"[21][22].

Phần lớn thời gian của Albert Victor ở Alderhot dành cho việc huấn luyện, điều mà ông không thích, mặc dù ông rất thích chơi polo[23]. Ông đậu kỳ thi xét tuyển và được đưa đến Hounslow vào tháng 3 năm 1887, nơi ông được thăng lên chức Đại úy. Ông được giao cho nhiều nghĩa vụ hơn như đến thăm Ireland và Gibraltar, khai thông cầu treo Hammersmith[24]. Một người bạn thời thơ ấu của Albert Victor kể lại: "Các nhân viên của Vương tôn George nói rằng mọi người muốn biến Albert Victor trở thành một người đàn ông tầm cỡ, nhưng Albert Victor đã từ chối được chỉ dẫn."[25][26] Trong những lá thư của Albert Victor gửi cho bác sĩ của ông vào năm 1885 và 1886 hé lộ việc ông đang phải dùng thuốc trị "bệnh lậu".[27][28]